Tan Sri Khalid pernah berkhidmat sebagai Ketua Jabatan Anti-Narkotik Kedah pada 1997. Enam tahun kemudian beliau dilantik sebagai Ketua Jabatan Pengurusan Polis Pahang dan pada tahun yang sama dilantik Ketua Polis Daerah Kuantan.[1]

Pada 2005, beliau dilantik sebagai Ketua Polis Negeri Sembilan sebelum dilantik sebagai Timbalan Pengarah Jabatan Siasatan Jenayah Bukit Aman dan pada Jun 2007 sebagai Ketua Polis Selangor.[1]

Pada 2010, beliau dilantik sebagai Pengarah Jabatan Keselamatan Dalam Negeri dan Ketenteraman Awam Bukit Aman sebelum dilantik sebagai Timbalan Ketua Polis Negara setahun kemudian.[1]

Pada 17 Mei 2014, Ketua Polis Negara Tan Sri Khalid Abu Bakar adalah antara 243 orang yang menerima anugerah darjah kebesaran negeri Perlis sempena ulang tahun keputeraan ke-71 Raja Perlis Tuanku Syed Sirajuddin Putra Jamalullail, di Istana Arau. Beliau dianugerahi 'Darjah Seri Paduka Mahkota Perlis' (SPMP) yang membawa gelaran 'Dato' Seri'.[2][3]